Menjelang tahun 1932 Galleghan dinaikkan pangkat menjadi Leftenan Kolonel dalam pasukan militia dan menjadi pegawai pemerintah beberapa batalion militia. Galleghan memasuki perkhidmatan Tentera Imperial Australia (AIF) pada 18 Mac 1940 dan diberikan pemerintahan Batalion 2/30 Infantri. Batalion 2/30 belayar ke Malaya dalam bulan Julai 1941.

Dalam bulan Januari 1942, batalion Galleghan menjadi sebahagian daripada Divisyen Ke-8 Australia yang ditugaskan untuk menjamin keselamatan wilayah selatan Semenanjung Tanah Melayu. Semasa bertahan di Gemas, Galleghan menyiapkan suatu serang hendap ke atas pasukan askar-askar Jepun yang jauh lebih besar daripada pasukannya. Untuk keberanian dan kepimpinan yang ditunjukkan, Galleghan diberikan anugerah Distinguished Service Order oleh kerajaan Australia.

Apabila Lt. Jen. A. E. Percival menyerah kalah kepada Lt. Jen. Tomoyuki Yamashita pada 15 Februari 1942, Galleghan menjadi tawanan perang bersama-sama dengan anggota-anggota pasukannya. Dia ditahan di Penjara Changi. Dalam bulan Ogos 1942, Galleghan dijadikan ketua kepada semua tawanan perang Australia. Dalam bulan Mac 1944, Galleghan dijadikan Timbalan Ketua kepada semua tawanan perang Tentera Berikat di Malaya.

Galleghan diberikan gelaran "Black Jack" kerana berkulit gelap dengan rambut dan mata berwarna gelap. Lagaknya menonjolkan kekuasaan semula jadi yang tidak boleh disangkal. Sebilangan pegawai mendakwa lebih takutkan Galleghan daripada takutkan askar-askar Jepun!

Tetapi Galleghan dihormati sebagai pegawai dan seorang tentera, yang sentiasa memahami bahawa survival anggota-anggota pasukannya bergantung kepada moral mereka, dan Galleghan bersungguh-sungguh menjaga moral anggota-anggota dan mengekalkan tahap disiplin yang tinggi. Semasa anggota-anggota Batalion 2/30 kembali daripada Burma membina jalan Kereta Api Maut, Galleghan tidak dapat berkata apa-apa melainkan menangis mengenangkan anggota-anggotanya yang mati dan keadaan azab yang dilalui oleh anggota-anggotanya di Burma.Semasa dibebaskan daripada menjadi tawanan perang selepas kekalahan Jepun, Galleghan memberitahu anggota-anggota pasukan Australia bahawa mereka akan pulang sebagai anggota tentera dan bukan sebagai tawanan perang. Galleghan berkeras enggan menyertai mana-mana persatuan tawanan perang. 'Black Jack' Galleghan sentiasa menjadi pegawai pemerintah Batalion 2/30 dan mengenakan lencana batalion itu di uniform Mejar Jeneral yang digunakannya.